Impossibility: the Limits of Science and the Science of Limits

"̂T^ H A T P O T E N T I A L F O R T E 1 E E N R I C H M E N T O F I s c i e n c e is w h a t B a r r o w h a s se t o u t t o e x p l o r e _JL i n Impossibility. A p r o f e s s o r o f a s t r o n o m y a t t h e U n i v e r s i t y o f S u s s e x i n E n g l a n d , B a r r o w w r i t e s w i t h g r e a t s c h o l a r s h i p , e l e g a n c e a n d w i t . H e classif ies t h e l i m i t s t o s c i e n c e a c c o r d i n g t o t h e i r s o u r c e : s o m e l i m i t s a r e i m p o s e d b y t h e n a t u r e o f t h e b r a i n , s o m e b y c o s m o l o g y , s o m e a r e t e c h n o l o g i c a l , a n d s o m e a r i se f r o m G o d e l ' s t h e o r e m a n d f r o m c o m p u t a t i o n a l t h e o r y . C o n c e r n i n g t h e b r a i n , h e w r i t e s : O u r m i n d s w e r e n o t des igned w i t h sc ience in m i n d , n o r d id e v o lu t i on p r imar i ly fit t h e m for tha t p u r p o s e . . . . O n the face of it, t h e r e is n o reason w h y w e s h o u l d possess t h e c o n c e p t u a l abil i ty to m a k e sense o f t he w a y t h e U n i v e r s e w o r k s . It w o u l d r e q u i r e a c o i n c i d e n c e o f cosmic p r o p o r t i o n s if t h e U n i v e r s e w e r e c o m pl ica ted e n o u g h to give n s e to life, ye t s imple e n o u g h for o n e species to u n d e r s t a n d its deepes t s t r uc tu r e after j u s t a few h u n d r ed years o f ser ious scientific inves t iga t ion . It c o u l d b e , f o r i n s t a n c e , t h a t w e h u m a n s b e l i e v e O c c a m ' s r a z o r , w h i c h h o l d s t h a t t h e b e s t t h e o r i e s a r e t h e s i m p l e s t , b e c a u s e t h o s e a r e t h e o n l y t h e o r i e s o u r p u n y b r a i n s c a n c o m p r e h e n d . Y e t I t h i n k i t p o s s i b l e t h a t o n e o f h u m a n k i n d ' s g r e a t e s t i n v e n t i o n s , t h e c o m p u t e r , c o u l d b e a t o o l f o r t r a n s c e n d i n g t h e p u n y b r a i n l i m i t a t i o n . N e e d l e s s t o say , s u c h a v i e w is h i g h l y s p e c u l a t i v e . 4 2 T H E S C I E N C E S • January/February 19 99 W h a t of B a r r o w ' s c o s m o l o i n c a l a n d t e c h n o l o g i c a l l i n i its? T h e y a r e r e l a t i v e l y p r a c t i c a l c o n s t r a i n t s , t h e k i n d s o f l i m i t s t h a t a r e i m p o s e d b y t h e i m m e n s e u n i v e r s e i n w h i c h w e h a p p e n t o l i v e , a n d b y t h e t r i f l i n g r e s o u r c e s w e a r e e v e r l i k e l y t o c o m m a n d . I n B a r r o w ' s v i e w m a n y o f t h e g r e a t q u e s t i o n s a b o u t t h e b e g i n n i n g , t h e e n d a n d t h e s t r u c t u r e o f t h e u n i v e r s e a r e u n a n s w e r a b l e in t h a t p r a c t i c a l s e n s e . B e c a u s e t h e s p e e d o f l i g h t is f i n i t e , t o r i n s t a n c e , t h e u n i v e r s e is p a r t i t i o n e d i n t o r e a l m s t h a t a r e o u t o f c a u s a l c o n t a c t w i t h o n e a n o t h e r . F u r t h e r m o r e , i f t h e t h e o r y o f t h e i n f l a t i o n a r y u n i v e r s e is v a l i d , i n f o r m a t i o n a b o u t t h e s t r u c t u r e o f t h e v i s i b l e u n i v e r s e b e f o r e i n f l a t i o n t o o k p l a c e e n c e . As I p o i n t e d o u t e a r l i e r , G o d e l s h o w e d t h a t if a f o r m a l s y s t e m is as r i c h as a r i t h m e t i c , it m u s t b e i n c o m p l e t e . B u t , as B a r r o w n o t e s , s i m p l y r e m o v i n g t h e m u l t i p l i c a t i o n o p e r a t i o n f r o m a r i t h m e t i c g i v e s a s m a l l e r s y s t e m k n o w n as P r e s b u r g e r a r i t h m e t i c . C o d e l s h o w e d t h a t P r e s b u r g e r a r i t h m e t i c is c o m p l e t e . It is p o s s i b l e , B a r r o w o b s e r v e s , t h a t t h e " i n n e r l o g i c o f t h e p h y s i c a l u n i v e r s e " is r o o t e d m a s i m p l e r l o g i c t h a n full a r i t h m e t i c . I n t h a t case , G o d e l i a n i n c o m p l e t e n e s s m i g h t n o t a p p l y . T h e s a m e c o n c l u s i o n h o l d s fo r t h e c o n j e c t u r e s a n d t h e o r i e s o f c o m p u t a t i o n a l c o m p l e x i t y , a n d t h e i r p o t e n t i a l f o r d e f i n i n g t h e l i m i t s o f s c i e n c e . A l t h o u g h I g r e a t l y a d m i r e Rene Magritte, C l a i r v o y a n c e , 1936 h a s b e e n w i p e d c l e a n — f o r e v e r b e y o n d s c i e n t i f i c k e n . T e c h n o l o g y w i l l a l so d e t e r m i n e t h e l i m i t s t o w h a t w e c a n e v e n t u a l l y d i s c o v e r . B a r r o w p o i n t s o u t t h a t sc ien t i s t s c a n m a k e p r e c i s e p r e d i c t i o n s a b o u t t h e u n i v e r s e u n d e r c o n d i t i o n s t h a t w e c a n n o t e v e n r e m o t e l y a p p r o a c h v i a d i r e c t e x p e r i m e n t . W h a t r ea l ly t a k e s p l a c e , fo r i n s t a n c e , w h e n m a t t e r is h e a t e d t o t e m p e r a t u r e s m o r e t h a n f i f teen o r d e r s o f m a g n i t u d e g r e a t e r t h a n a n y a c h i e v e d o n e a r t h ? B u t s u c h l i m i t s a r e fluid. N e w t e c h n o l o g y is u n p r e d i c t a b l e , a n d t h e r e is a l w a y s t h e p o s s i b i l i t y t h a t i t w i l l e n a b l e s o m e e a r l i e r l i m i t t o b e s i d e s t e p p e d ( in th i s c a se , t h r o u g h a s t r o n o m i c a l o b s e r v a t i o n s ) . B a r r o w offers a n e x t e n d e d a n d s u b t l e d i s c u s s i o n o f t h e p o s s i b l e i m p l i c a t i o n s o f G o d e l ' s t h e o r e m fo r t h e l i m i t s t o s c i B a r r o w ' s b o o k — a n d h e r e , I m u s t i m m e d i a t e l y c o n f e s s t h a t I a g r e e d t o w r i t e a n e n d o r s e m e n t f o r t h e b o o k a f te r r e a d i n g i t m m a n u s c r i p t f o r m — I a m n o t e n t i r e l y h a p p y w i t h h i s d i s c u s s i o n o f c o m p u t a t i o n a l c o m p l e x i t y . T H E C O M P U T A T I O N A L C O M P L E X I T Y O F A P R O B l e m is a m e a s u r e o f t h e m i n i m u m a m o u n t o f c o m p u t a t i o n a l r e s o u r c e s n e e d e d t o s o l v e it . E v e n i f a m a t h e m a t i c a l p r o b l e m is d e c i d a b l e , it m i g h t b e c o m p u t a t i o n a l l y i n t r a c t a b l e . B a r r o w d e s c r i b e s t h e t r a v e l i n g s a l e s m a n p r o b l e m (TSP) t o i l l u s t r a t e t h e i d e a . S u p p o s e a s a l e s m a n m u s t m a k e calls in s o m e se t o f c i t i e s . H o w d o e s h e p l a n h i s i t i n e r a r y so t h a t h e vis i ts e a c h o f t h e m j u s t o n c e , m i n i January/February [999 • T H E S C I E N C E S 4 3 m i z e s t h e t o t a l d i s t a n c e h e t r a v e l s , a n d r e t u r n s a t t h e e n d o f h i s j o u r n e y t o t h e c i t y w h e r e h e s t a r t e d ? It t u r n s o u t t h a t as t h e n u m b e r o f c i t i e s o n t h e list g r o w r s , t h e p r o b l e m b e c o m e s i n c r e a s i n g l y d i f f i cu l t ; t h e n u m b e r o f r o u t e c o m b i n a t i o n s g r o w s e x p o n e n t i a l l y w i t h t h e n u m b e r o f c i t i e s in t h e s a l e s m a n ' s t o u r . N o s o l u t i o n m o r e e f f i c i en t t h a n s i m p l y e n u m e r a t i n g all t h e p o s s i b l e c o m b i n a t i o n s o f t r a v e l r o u t e s is k n o w n ( t h o u g h n o o n e h a s p r o v e d s u c h a s o l u t i o n d o e s n o t e x i s t ) . H e n c e , t h o u g h t h e c o m p u t a t i o n a l c o m p l e x i t y o f T S P is u n k n o w n , i t is t h o u g h t t o g r o w e x p o n e n t i a l l y w i t h t h e n u m b e r o f c i t i e s . T S P is s a id t o b e c o m p u t a t i o n a l l y i n t r a c t a b l e . C o m p u t e r s c i e n t i s t s h a v e m a d e a r e m a r k a b l e d i s c o v e r y a b o u t T S P . I t t u r n s o u t t h a t n u m e r o u s p r o b l e m s , s o m e o f t h e m o f g r e a t p r a c t i ca l i m p o r t a n c e , all p o s s e s s e s s e n t i a l l y t h e s a m e c o m p u t a t i o n a l c o m p l e x i t y as T S P . T h e y a r e all t r a c t a b l e o r all i n t r a c t a b l e , a n d t h e c o m m o n b e l i e f a m o n g e x p e r t s is t h a t t h e y a r e all i n t r a c t a b l e . B a r r o w w r i t e s t h a t i n p r a c t i c e i t is e x t r e m e l y h a r d t o p r o v e t h a t a n y g i v e n p r o b l e m is i n t r a c t a b l e . " A t p r e s e n t , " h e r e m a r k s , t o s u b s t a n t i a t e h i s p o i n t , " t h e r e a r e n o m o r e t h a n a b o u t a t h o u s a n d p r o b l e m s " i n t h e s a m e c o m p l e x i t y class as T S P . I n m y v i e w , B a r r o w h a s i t b a c k w a r d . I f i n d i t s u r p r i s i n g t h a t so m a n y p r o b l e m s h a v e b e e n p r o v e n t o h a v e t h e s a m e c o m p u t a t i o n a l c o m p l e x i t y as T S P . A n o t h e r s h o r t c o m i n g o f B a r r o w ' s a c c o u n t o f c o m p u t a t i o n a l c o m p l e x i t y is t h a t i t is c o n f i n e d t o c o m b i n a t o r i a l p r o b l e m s , w h i c h i n v o l v e d i s c r e t e v a r i a b l e s ( t h e n u m b e r o f c i t i e s i n t h e s a l e s m a n ' s t o u r ) r a t h e r t h a n c o n t i n u o u s v a r i a b l e s . A s I n o t e d , t h e i r c o m p l e x i t y is u n k n o w n ; o n e m u s t s e t t l e i n s t e a d fo r s t a t e m e n t s s u c h as " p r o b l e m a is e q u i v a l e n t t o p r o b l e m / ? / ' o r " i t is c o n j e c t u r e d t h a t p r o b l e m x is m o r e c o m p l e x t h a n p r o b l e m y . " M a t h e m a t i c a l m o d e l s i n t h e s c i e n c e s , h o w e v e r , o f t e n i n v o l v e c o n t i n u o u s f u n c t i o n s o f r e a l v a r i a b l e s . D i f f e r e n t i a l e q u a t i o n s i n v o l v i n g d i s t a n c e a n d t i m e p r o v i d e a typical e x a m p l e . T h e c o m p u t a t i o n a l c o m p l e x i t y o f t h e n u m e r i c a l s o l u t i o n o f s u c h p r o b l e m s is s t u d i e d i n t h e f ie ld o f i n f o r m a t i o n b a s e d c o m p l e x i t y , a n d it is o f t e n k n o w n . T h e r e is n o n e e d t o s e t t l e fo r c o n j e c t u r e s . WH A T , T H E N , IS T H E C O N N E C T I O N B E t w e e n t h e c o n j e c t u r e s a n d r e s u l t s o f c o m p u t a t i o n a l c o m p l e x i t y t h e o r y , a n d s c i e n c e ? T h e p r o t e i n f o l d i n g p r o b l e m o f m o l e c u l a r b i o c h e m i s t r y p r o v i d e s a n e n l i g h t e n i n g e x a m p l e . T h e p r o b l e m is easy t o s t a t e : G i v e n a l i n e a r s e q u e n c e o f a m i n o a c i d s , i n t o w h a t t h r e e d i m e n s i o n a l c o n f i g u r a t i o n w i l l t h e s e q u e n c e f o l d ? T h e i m p l i c a t i o n s o f t h e a n s w e r f o r b i o l o g y a r e m a n i fo ld , b e c a u s e in p r o t e i n c h e m i s t r y t h e f u n c t i o n o f a m o l e c u l e is a l m o s t e n t i r e l y d e t e r m i n e d b y its s h a p e . T h u s t h e Richard E. Prince, V e n u s a n d M a r s , 1998 a n s w e r t o t h e p r o t e m f o l d i n g p r o b l e m h a s b e e n c a l l e d t h e H o l y G r a i l o f m o l e c u l a r b i o l o g y . I n n a t u r e t h e f o l d i n g t a k e s p l a c e q u i c k l y — i n a b o u t a s e c o n d . Y e t t h e k n o w n m o d e l s o f t h e p r o c e s s a r e so c o m p l e x t h a t t h e y c a n n o t b e s i m u l a t e d e v e n o n t h e m o s t p o w e r ful s u p e r c o m p u t e r . A v i e z r i S. F r a e n k e l , a m a t h e m a t i c i a n a t t h e W e i z m a n n I n s t i t u t e o f S c i e n c e i n R e h o v o t , I s r a e l , h a s s h o w n t h a t o n e f o r m u l a t i o n o f t h e p r o b l e m is j u s t as c o m p l e x as T S P . H e n c e p r o t e i n f o l d i n g " s h o u l d " b e c o m e e x p o n e n t i a l l y h a r d e r as t h e l e n g t h o f t h e c h a i n o f a m i n o a c i d s g r o w s . N a t u r e s h o u l d n o t t a k e a s e c o n d ; it s h o u l d t a k e p e r h a p s m i l l i o n s o f y e a r s . H o w c a n s u c h d i s s o n a n c e s b e e x p l a i n e d ? T h e p o s s i b i l i t i e s r eca l l t h e r e l a t i o n b e t w e e n G o d e l ' s t h e o r e m a n d s c i e n t i f i c l i m i t s . F o r e x a m p l e , t h e r e m a y b e o t h e r m a t h e m a t i c a l m o d e l s o f p r o t e i n f o l d i n g t h a t fit t h e o b s e r v e d b e h a v i o r , y e t a r e c o m p u t a t i o n a l l y t r a c t a b l e . O r t h e c o n j e c t u r e t h a t T S P is i n t r a c t a b l e m a y t u r n o u t t o b e false. P e r h a p s e v o l u t i o n h a s s e l e c t e d f o r p r o t e i n s t h a t f o l d eas i ly . A l t e r n a t i v e l y , n a t u r e m i g h t b e u n d e r t a k i n g a m a s s i v e n u m b e r o f p a r a l l e l c o m p u t a t i o n s , t h o u g h t h e m e c h a n i s m s o n e m i g h t p r o p o s e fo r s u c h a c t i v i t y r e m a i n h i g h l y s p e c u l a t i v e . W h a t e m e r g e s f r o m s u c h a n ana lys i s is a p o s s i b l e e x p e r i m e n t : H o w d o e s t h e t i m e t h a t n a t u r e t a k e s t o f o l d a p r o t e i n d e p e n d o n t h e l e n g t h o f t h e s e q u e n c e o f a m m o ac id s? T h e t i m e d e p e n d e n c e is n o t e x p o n e n t i a l , b u t is i t s u p e r l i n e a r , s u b l i n e a r o r e v e n c o n s t a n t — t h a t is, i n d e p e n d e n t o t t h e l e n g t h o f t h e a m i n o a c i d s t r a n d ? E x p e r i m e n t a l m e a s u r e m e n t s m i g h t h e l p t o c o n s t r u c t a p r e d i c t i v e t h e o r y . s O R E F L E C T J U S T A M O M E N T A B O U T T H E N E W L O G I C . I t s h o w s t h a t t h e r e a r e d i s s o n a n c e s b e t w e e n c o m p l e x i t y t h e o r y , s u p e r c o m p u t e r s i m u l a t i o n a n d n a t u r e . T h o s e d i s s o n a n c e s l e d t o a p r o p o s a l fo r a n e x p e r i m e n t t h a t c o u l d h e l p c o n s t r a i n t h e s e a r c h fo r i m p r o v e d m o d e l s : i n s h o r t , t o n o r m a l s c i e n c e . P e r h a p s t h a t is a s m a l l s u c c e s s , o r j u s t t h e p o t e n t i a l f o r a s m a l l s u c c e s s . B u t I t h i n k it b e g i n s t o m a k e t h e c a s e t h a t , f r o m t i m e t o t i m e , s c i e n tists c a n s t e p b a c k f r o m t h e i r h a n d t o h a n d s t r u g g l e s w i t h i n t h e i r d i s c i p l i n e s a n d p r o f i t a b l y e x p l o r e a b i g g e r p i c t u r e . T h e p a r s i n g o f t h e u n k n o w n , t h e i n t r a c t a b l e , t h e u n k n o w a b l e , so a p p e a l i n g t o t h e p o p u l a r i m a g i n a t i o n , a n d s o e n t e r t a i n i n g l y a n d p e r s u a s i v e l y c a r r i e d o u t in t h e s e t w o b o o k s , is a w o r t h y m i s s i o n t o r s c i e n c e itself. • JOSEPH F. TRAUB is the Edwin Howard Armstrong professor of computer science at Columbia University. Cambridge University Press has just published his most recent booh, C O M P L E X I T Y A N D I N F O R M A T I O N . 4 4 T H E S C I F N C F S • January / February 1999